Tracing and Taming Hallucinated Terms via Subsequence-Association Filtering and Breadth-Aware Selection for LLM Query Expansion
基于子序列关联过滤与广度感知选择的LLM查询扩展幻觉词抑制
🧭 LLM查询扩展幻觉过滤 ★ 深度解读
Indian Institute of Technology (BHU), Varanasi, India · University College London, London, UK · Halmstad University, Halmstad, Sweden
用跨上下文可再现性与语料支撑度识别幻觉term，在nDCG@10无损下将注入query的无支撑词减少85%-93%
📌 工作参考价值（5 点）
- 可直接复用 SAFE-QE 的过滤评分：对 LLM 生成的候选扩展词/phrase，用「随机扰动 prompt 后的重现率 ρ(t)」+「与 top-k 相关文档的最大支持度 γ(t)」做加权，公式 s(t)=γ(t)-λρ(t)(1-γ(t))+μfreq(t)。在电商搜索 query 改写、广告关键词扩展中，能有效识别并降权「无论上下文都被生成但无商品/文档支撑」的幻觉词。
- 词选择不要固定 top-k，改为带 grounding 约束的 budget 最大覆盖问题：用贪心近似（1-1/e）从候选词里选最多覆盖伪相关文档/商品 faceting 的子集，避免多个高分词重复覆盖同一意图。电商多意图 query（如“苹果”）尤其需要这种 breadth-aware selection。
- 稳定性过滤很便宜：对 LLM 采样 N 次，只保留 freq(t)≥θ 的稳定 term，能额外过滤掉少量采样中出现的幻觉词。工程上可简单并行多次采样，几乎不增加线上复杂度。
- 建立 HETR 监控指标：在业务评估里同时看「幻觉率」和「幻觉负载＝HETR×注入词数」，不要只看率；强 retriever / dense retrieval 下生成式扩展收益小，但幻觉过滤的收益最大，这时候尤其值得上线。
- 结论可迁移：一个 0.5B 小生成器 + 过滤器，faithfulness 可以超过 9B HyDE，说明过滤机制比生成器规模更重要；训练无关、检索器无关，适合低成本接入已有 generate-then-expand 流程。但注意 grounding 阈值 τg 需要按 retriever 分别标定（SPLADE 下的伪相关集合会让更多候选通过阈值）。